|
|
1.
Spark Streaming框架下的气象自动站数据实时处理系统
赵文芳, 刘旭林
计算机应用
2018, 38 (1):
38-43.
DOI: 10.11772/j.issn.1001-9081.2017071903
针对现有气象自动站业务平台面临处理数据不及时、交互式响应慢、统计时效差等问题，提出了使用Spark Streaming技术和HBase解决该问题的方法，将实时计算框架和分布式数据库系统结合起来实现大规模流式数据处理。使用Flume收集自动站数据，Spark Streaming对数据进行流式处理并存储到HBase数据库中，并设计Spark框架下的自动站数据流式入库处理算法和要素极值的实时统计算法，在Cloudera平台下实现了一个高速可靠的实时采集、处理、统计的应用系统。通过对比分析和性能监测，验证了该系统具有低延迟和高吞吐量的优势，运行状况良好，负载均衡。实验结果表明，Spark Streaming用于气象自动站的实时业务处理，数据并行写入HBase、基于HBase的查询和各类要素统计均能达到毫秒级响应，完全能满足自动站数据的应用需求，有效地支撑天气预报业务。
参考文献 |
相关文章 |
多维度评价
|
|
